AAAI 2025 | 大模型推理加速新范式:加速比高达3.51倍、成本降至1/3
AAAI 2025 | 大模型推理加速新范式:加速比高达3.51倍、成本降至1/3Falcon 方法是一种增强半自回归投机解码框架,旨在增强 draft model 的并行性和输出质量,以有效提升大模型的推理速度。Falcon 可以实现约 2.91-3.51 倍的加速比,在多种数据集上获得了很好的结果,并已应用到翼支付多个实际业务中。
搜索
Falcon 方法是一种增强半自回归投机解码框架,旨在增强 draft model 的并行性和输出质量,以有效提升大模型的推理速度。Falcon 可以实现约 2.91-3.51 倍的加速比,在多种数据集上获得了很好的结果,并已应用到翼支付多个实际业务中。
本文将介绍首个关于 o1 类长思维链模型过度思考现象。该工作由腾讯 AI Lab 与上海交通大学团队共同完成。
现在,大模型可以帮你梳理新闻时间线了,以后吃瓜就更方便了! AI Agent的风,咱们赛博乐子人也得吹吹。 这就是来自阿里巴巴通义实验室与上海交通大学的新研究,他们提出了一种基于Agent的新闻时间线摘要新框架——CHRONOS。
最近国内外的手机厂商和 AI 公司纷纷发布了手机 AI 智能体相关产品,让曾经的幻想逐渐有了可行性。
在人类的认知中,从单张图像中感知并想象三维世界是一项天然的能力。我们能直观地估算距离、形状,猜想被遮挡区域的几何信息。然而,将这一复杂的认知过程赋予机器却充满挑战。
近日,传音控股(以下简称传音)已与阿里云达成合作,通义千问大模型已经搭载在传音旗下科技品牌TECNO推出的AI手机PHANTOM V Fold2中,打造了深度本地化的“实用型AI”。
Akool 于 2022 年成立,短时间取得了巨大的成就,ARR 超过 4000 万美元。其主要布局视频编辑与生成赛道,瞄准 ToB 业务,为企业提供高效、智能的视频生成解决方案。
1月5日,罗永浩旗下的 AI 初创项目悄悄在海外上线,我们也在第一时间上手体验了这款产品,为大家带来最“热乎”的产品体验。
游戏本质上是虚拟模拟,而虚拟模拟在过去的几十年里,一直是为了好玩而设计的。但是,我们将越来越多地看到它们在现实世界中用于各种用例,无论是培训、学习和发展,还是用于机器人和其他自主系统的训练场,亦或是可视化,来让人们实时看到事物变得栩栩如生。
随着年纪的增大,已经越来越不喜欢跟风写年终总结了。 2024 年,我做了很多项目,想想还是有必要写一篇文章来总结。